Suy luận xác suất không phải là một phép tính tĩnh; nó là một quá trình động để cập nhật niềm tin. Trong một không điều kiện bối cảnh, chúng ta giả định một trạng thái thiếu hiểu biết tổng quát nơi mọi kết quả trong không gian mẫu $S$ đều có thể xảy ra. Tuy nhiên, thông tin là một bộ lọc toán học giữ lại những kết quả phù hợp với thực tế quan sát được.
Khi chúng ta nói sự kiện $F$ đã xảy ra, chúng ta chuyển từ không gian toàn cục $S$ sang vũ trụ bị giới hạn $F$. Xác suất có điều kiện của $E$ cho trước $F$, ký hiệu là $P(E|F)$, đơn giản chỉ là tỷ lệ phần trăm không gian mới $F$ mà $E$ cũng xảy ra.
Câu chuyện bằng chứng
Sự chuyển đổi từ $P(E)$ sang $P(E|F)$ là nền tảng toán học của ước lượng dựa trên bằng chứng. Nếu $P(E|F) > P(E)$, bằng chứng $F$ hỗ trợ giả thuyết $E$. Nếu $P(E|F) < P(E)$, thì $F$ mâu thuẫn với $E$.
Hãy tưởng tượng một sự kiện phục vụ thức ăn với các lựa chọn thực đơn cố định sau:
| Bữa ăn | Lựa chọn |
|---|---|
| Khẩu phần chính | Gà, Thịt bò nướng (2) |
| Chất bột đường | Mì ống, Cơm, Khoai tây (3) |
| Tráng miệng | Kem, Jello, Bánh táo, Quả lê (4) |
Không gian không điều kiện: Có tổng cộng $2 \times 3 \times 4 = 24$ tổ hợp bữa ăn khả dĩ. $P(\text{Mì ống}) = 8/24 = 1/3$.
Thông tin có điều kiện: Chúng ta biết khách là người ăn chay và chắc chắn đã chọn món "Mì ống". Lựa chọn "Chất bột đường" của chúng ta giờ đây đã được xác định ($1$ lựa chọn). Mẫu số của vũ trụ của chúng ta co lại từ $24$ xuống còn $2 \times 1 \times 4 = 8$. Đây chính là sức mạnh của thông tin: nó thu nhỏ không gian mẫu và thay đổi mẫu số.
Định nghĩa công thức
Với hai sự kiện bất kỳ $E$ và $F$, nếu $P(F) > 0$, xác suất có điều kiện được định nghĩa như sau:
$$P(E|F) = \frac{P(EF)}{P(F)}$$